Arthur Phillip dilahirkan pada 11 Oktober 1738, anak bongsu daripada dua adik beradik kepada Jacob Phillip dan Elizabeth Breach. Bapanya Jacob dilahirkan di Frankfurt, Jerman. Beliau ialah seorang guru bahasa yang juga mungkin telah berkhidmat dalam Tentera Laut Diraja sebagai pelaut kanan dan pengawas pegawai kewangan. Ibunya Elizabeth ialah balu seorang pelaut biasa, John Herbert, yang pernah berkhidmat di Jamaica di atas kapal HMS Tartar dan meninggal dunia akibat penyakit pada 13 Ogos 1732. Pada masa kelahiran Arthur Phillip, keluarganya mengekalkan kewujudan sederhana sebagai penyewa berhampiran Cheapside di Bandar London.[3]

Tiada rekod kehidupan awal kanak-kanak Phillip yang masih ada. Bapanya Jacob meninggal dunia pada 1739, selepas itu keluarga Phillip mungkin telah jatuh miskin.[4] Pada 22 Jun 1751 beliau telah diterima ke dalam Sekolah Hospital Greenwich, sebuah sekolah amal untuk anak-anak pelaut miskin.[5] Selaras dengan kurikulum sekolah, pendidikan telah memberi tumpuan kepada celik huruf, aritmetik dan kemahiran pelayaran, termasuk kartografi. Beliau adalah seorang pelajar yang berwibawa dan agak mementingkan kesempurnaan. Guru besarnya, Rev. Francis Swinden memerhati bahawa dalam personaliti, Phillip adalah "sederhana, berpatutan, terperinci dalam segala yang dilakukannya".[6]

Phillip kekal di Sekolah Greenwich selama dua setengah tahun, jauh lebih lama daripada purata penginapan pelajar selama dua belas bulan.[7] Pada akhir 1753 beliau telah diberikan indentur tujuh tahun sebagai pelatih kapal Fortune, sebuah bot penangkapan ikan paus 210 tan diketuai oleh saudagar pelaut Wiliam Readhead. Beliau meninggalkan Sekolah Greenwich pada 1 Disember dan menghabiskan musim sejuk di atas kapal Fortune menunggu bermulanya musim penangkapan ikan paus 1754.[8]